Người Nhật đã có một truyền thống rèn kiếm lâu đời. Kiếm, ngọc và gương là ba [bảo vật truyền quốc], được coi như biểu chương của hoàng gia, thờ tại đền ở Ise gần hoàng cung cũ ở cựu đô Nara cũng là những linh vật trong đạo shinto.

Ngay từ thời đại Kofun và Nara (300-794) đầu Công nguyên, nước Nhật đã sử dụng kiếm, hồi đó lưỡi kiếm thẳng và dài chừng 80 cm theo mẫu mực của Trung Hoa và Triều Tiên. Đến thế kỷ 8, đầu thế kỷ 9 người Nhật bắt đầu đúc kiếm có hình cong ở gần cán rồi dần dần cong hoàn toàn.

Thời đại Heian sau đó (794-1185), nước Nhật bước vào một thời kỳ văn hoá khá rực rỡ. Xã hội nhiều giai cấp trong đó giới samurai, giới tăng nhân trở thành những lực lượng quan trọng được triều đình thuê mướn để bảo vệ lãnh thổ. Thanh kiếm đã không chỉ là một võ khí mà đã trở thành một tác phẩm, vừa thanh tú vừa mỹ thuật.

Người ta cũng bắt đầu khắc tên và nơi chế tạo trên chuôi kiếm, hiệp sĩ cũng mang theo những thanh kiếm ngắn hơn để thay đổi. Ngoài kiếm nhiều loại chiến cụ khác cũng phát triển điển hình là cung tên, giáp trụ và nghệ thuật binh bị cũng đạt một tầm vóc mới.

Người Nhật tìm ra cách đúc kiếm nhiều lớp bằng cách rèn dài và mỏng phôi sắt sau đó cắt đôi, nung lên rồi chập hai nửa lại tiếp tục rèn, tạo được những vân thớ gọi là jihada khác lạ được gọi dưới những tên như itame, masame, mokume, ayasugi, khiến những lưỡi kiếm cấu thành từ rất nhiều lớp thép, vừa dẻo dai vừa cứng rắn. Những vân đó có khi giống như mắt gỗ nhưng cũng có khi uốn lượn như làn sóng. Thanh kiếm không chỉ là vũ khí mà còn là một tác phẩm mỹ thuật.

Các thợ rèn thuộc tỉnh Soshu tìm ra được cách pha trộn thép mềm với thép cứng để làm lưỡi kiếm, vẫn sắc bén mà lại ít bị mẻ. Họ cũng tiêu chuẩn hoá chiều dài và cải thiện mũi kiếm để khi kiếm bị gãy vẫn có thể mài và dùng tiếp. Trước kia kiếm Nhật chỉ uốn cong nơi gần cán nay từ từ cong đều và cũng thuôn dần ra tới tận mũi. Người Nhật cũng chế tạo loại giáp trụ nhẹ hơn để bộ binh dễ di động, dễ phân tán đồng thời nghiên cứu cách dùng kiếm đánh cận chiến thay vì dùng cung bắn từ xa.

Phong tục cổ truyền của Nhật Bản là khi gia đình sinh một đứa con trai, mỗi người dân làng sẽ đến mừng cho quý tử một ít mạt sắt. Sắt đó sau này, khi cậu bé trưởng thành, sẽ được một kiếm sư rèn thành kiếm cho cậu. Trước khi rèn một thanh kiếm, bao giờ kiếm sư cũng trai giới, cầu xin thần linh phù hộ và sau đó mặc lễ phục để làm việc. Người ta nói rằng kiếm sư rèn kiếm không còn là một công việc mà là một nghi lễ, thân tâm hợp nhất và tập trung toàn bộ tinh thần từ khi bắt đầu cho tới khi hoàn tất.

Thời kỳ nước Nhật chia thành hai gọi là Nam Bắc triều (1333-1393). Thời kỳ này đánh dấu cao điểm của thuật đúc kiếm. Lưỡi kiếm bây giờ dài đến 1 mét gọi là no-dachi và kiếm đúc cho đền đài có khi còn dài hơn. Kiếm dài có lợi thế cho người đi bộ và chiến đấu trong đêm tối nên thường đeo sau lưng và rút ngược lên qua vai.

Khi ra ngoài người ta đeo katana và wakizashi nhưng khi ở trong nhà thì chỉ đeo đoản kiếm và được tháo ra đặt ngay cạnh giường khi đi ngủ. Đối với người võ sĩ, thanh kiếm là vật bất ly thân, không rời xa trong bất cứ trường hợp nào.